Различные типы распределений, описанные в предыдущих параграфах, применяются в качестве теоретических моделей в задачах, связанных со случайностью и неопределённостью. Однако на практике далеко не всегда ясно, какое именно распределение моделирует имеющиеся в наличии данные. А если из каких-либо соображений тип распределения всё же установлен, то следующая задача — оценить параметры этого распределения, например, среднее и/или дисперсию в случае гауссовского распределения $\mathcal N(\mu, \sigma^2)$.

Подобными обратными по отношению к теории вероятностей задачами занимается математическая статистика. Типичный пример статистической задачи: по числовой выборке $X_1, \ldots, X_n$ оценить параметры распределения, из которого они были получены. Обычно предполагается, что выборка i.i.d. (independent and identically distributed), то есть представляет собой независимые реализации случайной величины с одним и тем же распределением. Параметр этого определения $\theta$ может быть числом или вектором; оценку этого параметра по выборке $X_1, \ldots, X_n$ обычно обозначают $\widehat \theta(X_1, \ldots, X_n)$ или просто $\widehat \theta$.

Предельные теоремы

Как правило, чем больше размер выборки, тем более информативны параметрические оценки вида $\widehat \theta(X_1, \ldots, X_n)$. Теоретические свойства таких оценок при $n\to\infty$ устанавливаются с помощью предельных теорем теории вероятностей.

Закон больших чисел

Внимательный читатель мог обратить внимание, что в ряде примеров из предыдущих параграфов параметры некоторых распределений почему-то молчаливо подменялись средними значениями. Так мы поступили в задаче о показе рекламы, взяв в качестве параметра пуассоновского распределение среднее количество кликов пользователей. Фактически мы оценили неизвестный параметра $\lambda$ средним по выборке:

$$\widehat\lambda = \frac 1n \sum\limits_{k=1}^n X_k.$$

В общем-то это кажется логичным, поскольку $\lambda = \mathbb E\xi$, если $\xi \sim \mathrm{Pois}(\lambda)$. Однако у такой оценки есть также мощное теоретическое обоснование.

Теорема (Закон больших чисел, ЗБЧ). Пусть $X_1, X_2, \dots$ – последовательность попарно независимых одинаково распределенных случайных величин с конечным математическим ожиданием $\mu$. Тогда для любого $\varepsilon > 0$

$$\lim\limits_{n \to \infty} \mathbb{P}(|\overline{X}_n - \mu| > \varepsilon) = 0, \text{ где } \overline{X}_n = \frac{1}{n}\sum\limits_{k = 1}^n X_k.$$

Таким образом, чем больше размер выборки $n$, тем менее вероятно отклонение выборочного среднего $\overline{X}_n$ от истинного среднего $\mu$ на любое число $\varepsilon > 0$.

Закон больших чисел особенно легко обосновать для случая конечных дисперсий: $\mathbb V X_k = \sigma^2 < +\infty$. Имеем

$$\mathbb E \overline{X}_n = \frac 1n \sum\limits_{k=1}^n \mathbb EX_k = \mu, \quad \mathbb V \overline{X}_n = \frac 1{n^2} \sum\limits_{k=1}^n \mathbb VX_k = \frac{\sigma^2}n.$$

Отсюда видно, что $\lim\limits_{n\to\infty} \mathbb V \overline{X}_n = 0$, поэтому при больших $n$ распределение случайной величины $\mathbb V \overline{X}_n$ всё больше похоже на распределение, сосредоточенное в одной лишь точке $\mu$. Формально же утверждение ЗБЧ получается с помощью неравенства Чебышева:

$$\mathbb{P}\big(\vert \overline{X}_n - \mu\vert > \varepsilon\big) \leqslant \frac{\mathbb{V} \overline{X}_n}{\varepsilon} = \frac{\sigma^2}{n \varepsilon} \to 0, \quad n\to\infty.$$

Закон больших чисел допускает следующее усиление.

Теорема (Усиленный закон больших чисел, УЗБЧ). Пусть $X_1, X_2, \dots$ – последовательность попарно независимых одинаково распределенных случайных величин с конечным математическим ожиданием $\mu$. Тогда выборочное среднее $\overline{X}_n$ почти наверное сходится к $\mu$, т.е.
$\mathbb P\big(\lim\limits_{n\to\infty}\overline{X}_n = \mu\big) = 1$.

Замечание о типах сходимостей случайных величин

Последовательность случайных величин $(X_n)$, $n\in\mathbb N$, сходится к случайной величине $X$

1. по распределению, $X_n \stackrel{D}{\to} X$, если $F_{X_n}(x) \to F_X(x)$;
2. по вероятности, $X_n \stackrel{P}{\to} X$, если $\lim\limits_{n \to \infty} \mathbb{P}(\vert X_n - X\vert > \varepsilon) = 0$ для любого $\varepsilon > 0$;
3. почти наверное, $X_n \stackrel{\text{п.н.}}{\to} X$, если $\mathbb P\big(\lim\limits_{n\to\infty}X_n = X\big) = 1$;
4. в среднем квадратичном, $X_n \stackrel{L_2}{\to} X$, если $\lim\limits_{n \to \infty} \mathbb E(X_n - X)^2=0$.

Известно, что

• из сходимости по вероятности вытекает сходимость по распределению, $X_n \stackrel{P}{\to} X \implies X_n \stackrel{D}{\to} X$;
• из сходимость почти наверное следует сходимость по вероятности, $X_n \stackrel{\text{п.н.}}{\to} X \implies X_n \stackrel{P}{\to} X$;
• сходимость в среднем квадратичном влечёт сходимость по вероятности, $X_n \stackrel{L_2}{\to} X \implies X_n \stackrel{P}{\to} X$.

А вот из сходимости по вероятности, вообще говоря, не следует сходимость почти наверное (контрпример можно посмотреть здесь).

Закон больших чисел утверждает, что выборочное среднее сходится по вероятности к истинному среднему. А согласно УЗБЧ имеет место более сильный тип сходимости — почти наверное.

Теорема Муавра-Лапласа

Доска Гальтона иллюстрирует биномиальное распределение. До поворота на ее дне лежит множество маленьких шариков. Сразу после переворота шарики проходят через 10 рядов гладких круглых препятствий. Преодоление каждого препятствия можно рассматривать как испытание Бернулли: с равными вероятностями шарик может пойти как налево, так и направо. Поэтому финальное положение шарика в одной из 10 корзин является приблизительной реализацией биномиального распределения $\mathrm{Bin}(10, 0.5)$.

Уже при $n=10$ биномиальное распределение напоминает нормальное. И действительно, чем больше $n$, тем лучше дискретная случайная величина $\xi \sim \mathrm{Bin}(n, p)$ аппроксимируется непрерывной гауссианой $\mathcal N\big(np, np(1-p)\big)$.

Теорема Муавра-Лапласа. Пусть $\xi \sim \mathrm{Bin}(n, p)$, $q=1-p$, тогда

$$\lim\limits_{n\to\infty} \mathbb P\Big(a < \frac{\xi - np}{\sqrt{npq}} \leqslant b\Big) = \frac 1{\sqrt{2\pi}} \int\limits_a^b e^{-\frac{x^2}2}\,dx.$$

Из теоремы Муавра-Лапласа вытекает, что при больших $n$ вероятность попадания биномиальной случайной величины $\xi \sim \mathrm{Bin}(n, p)$ в заданный интервал можно оценить как

$$\mathbb P(A < \xi \leqslant B) \approx \Phi\Big(\frac{B - np}{\sqrt{npq}}\Big) - \Phi\Big(\frac{A - np}{\sqrt{npq}}\Big).$$

где $\Phi(z)$ — функция распределения стандартного нормального распределения.

Центральная предельная теорема

При выводе закона больших чисел мы видели, что выборочное среднее $\overline X_n$ имеет среднее $\mu$ и дисперсию $\frac{\sigma^2} n$. Но как именно выглядит распределение случайной величины $\overline X_n$ при увеличении $n$? Оказывается, что оно становится всё больше похоже на $\mathcal N\big(\mu, \frac{\sigma^2} n\big)$. Вот как, например, выглядят нормализованные гистограммы $5000$ выборочных средних, построенных по i.i.d. выборкам $X_1, \ldots, X_n \sim \mathrm{Bin}(30, 0.3)$ для разных значений $n$:

Эти гистограммы и впрямь очень напоминают гауссианы, и это прямое следствие следующей теоремы.

Центральная предельная теорема, ЦПТ. Пусть $X_1, X_2, \dots$ – последовательность попарно независимых одинаково распределенных случайных величин с конечным математическим ожиданием $\mu$ и дисперсией $\sigma^2$. Тогда

$$Z_n := \frac{\sqrt n(\overline X_n - \mu)}{\sigma} \approx \mathcal N(0, 1) \text{ при } n \gg 1.$$

Точнее говоря, $\lim\limits_{n\to\infty}\mathbb P(Z_n \leqslant z) = \Phi(z)$. Таким образом, случайная величина $Z_n$ сходится по распределению к $\mathcal N(0,1)$: $Z_n \stackrel{D}{\to} \mathcal N(0, 1)$.

Если применить центральную предельную теорему к бернуллиевским случайным величинам с вероятностью успеха $p$, то вновь получим теорему Муавра-Лапласа.

Свойства параметрических оценок

Оценивать параметры можно по-разному, хочется делать это хорошо. Ценные свойства оценок, которые обычно желательны – это несмещенность и состоятельность.

Несмещённость

Каждый элемент i.i.d выборки $X_1, \ldots, X_n$ можно рассматривать как значение случайной величины из некоторого распределения с неизвестным параметром $\theta$.
А раз так, то всякую оценку этого параметра $\widehat\theta(X_1, \dots, X_n)$ также можно считать случайной величиной, у которой можно пытаться вычислять математическое ожидание, например.

Оценка $\widehat\theta(X_1, \dots, X_n)$ параметра $\theta$ называется несмещенной, если $\mathbb{E}\widehat\theta = \theta$. Несмещённость оценки означает, что она в среднем будет равна истинному значению параметра.

Интуитивно можно представлять себе несмещённость следующим образом: если мы нагенерим большое количество выборок $X_1^{(i)}, X_2^{(i)}, \dots, X_n^{(i)}$, $1\leqslant i \leqslant N$, и для каждой посчитаем оценку $\widehat \theta^{(i)}$, то в среднем получится более или менее истинное значение параметра $\theta$: $\frac 1N\sum\limits_{i=1}^N \widehat \theta^{(i)} \approx \theta$.

Простейший пример несмещённой оценки среднего значения $\theta$ даёт выборочное среднее $\overline{X}n = \frac{1}{n}\sum\limits^n X_k$, поскольку

$$\mathbb E \overline{X}_n = \frac 1n \sum\limits_{k = 1}^n \mathbb E X_k = \frac 1n\cdot n\theta = \theta.$$

Медианой выборки $X_1, \ldots, X_n$ называется средний член вариационного ряда, состоящего из отсортированных по возрастанию элементов выборки:

$$X_{(1)} \leqslant X_{(2)} \leqslant \ldots \leqslant X_{(n)}.$$

Если $n$ нечётно, $n=2m+1$, то есть ровно один элемент в середине вариационного ряда, именно он называется медианой: $\mathrm{med}(X_1,\ldots, X_n) = X_{(m)} = X_{\big(\frac{n+1}2\big)}$. При чётном $n=2m$ в качестве медианы берут среднее двух центральных элементов вариационного ряда:

$$\mathrm{med}(X_1,\ldots, X_n) = \frac 12(X_{(m)}+ X_{(m+1)}) = \frac 12 \big(X_{(\frac n2)} + X_{(\frac n2 + 1)}\big).$$

Упражнение. Дана i.i.d. выборка $X_1, \ldots, X_n$ из равномерного распределения $U[0,2\theta]$. Докажите, что выборочная медиана даёт несмещённую оценку медианы распределения $U[0,2\theta]$.

Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)

Если $\xi \sim U[0,2\theta]$, то $\mathbb E\xi = \mathrm{med}(\xi) = \theta$. В секции про бета-распределение была найдена плотность $k$-й порядковой статистики, посчитанной по выборке из равномерного распределения на $[0,1]$:

$$p(x) = \frac{n!}{(k-1)!(n-k)!} x^{k-1}(1-x)^{n-k}, \quad 0 \leqslant x \leqslant 1.$$

Чтобы получить отсюда плотность $k$-й порядковой статистики $X_{(k)}$ для нашей выборки из $U[0, 2\theta]$, сделаем линейную замену $t = 2\theta x$. Тогда

$$p_{X_{(k)}}(t) = \frac 1{2\theta}\frac{n!}{(k-1)!(n-k)!} \Big(\frac t{2\theta}\Big)^{k-1}\Big(1-\frac t{2\theta}\Big)^{n-k},$$

$$0 \leqslant t \leqslant 2\theta.$$

Рассмотрим два случая. Если $n = 2m+1$, то выборочная медиана равна $X_{(m+1)}$, и

$$\mathbb E X_{(m+1)} = \frac{(2m+1)!}{m!(m+1)!}\int\limits_0^{2\theta} \Big(\frac t{2\theta}\Big)^{m+1} (1-\frac t{2\theta}\Big)^m\,dt.$$

Возвращаясь к переменной $x= \frac t{2\theta}$, находим

$$\mathbb E X_{(m+1)} = 2\theta\frac{(2m)!}{m!(m-1)!}\int\limits_0^1 x^{m+1} (1-x)^m\,dx =$$

$$= 2\theta\frac{(2m+1)!}{m!(m+1)!} B(m+2, m+1) =2\theta\frac{(2m+1)!}{m! m!} \frac{(m+1)!m!}{(2m+2)!} = \theta.$$

Если же $n = 2m$, то нам потребуется найти $\mathbb E \big(\frac 12(X_{(m)} + X_{(m+1)})\big)$. Используя ту же самую замену $x= \frac t{2\theta}$, получаем

$$\mathbb E X_{(m)} = 2\theta\frac{(2m)!}{m!(m-1)!}\int\limits_0^1 x^{m} (1-x)^m\,dx =$$

$$=2\theta\frac{(2m)!}{m!(m-1)!} B(m+1, m+1) =2\theta\frac{(2m)!}{m!(m-1)!}\frac{m!m!}{(2m+1)!} = \frac {2\theta m}{2m+1};$$

$$\mathbb E X_{(m+1)} = 2\theta\frac{(2m)!}{m!(m-1)!}\int\limits_0^1 x^{m+1} (1-x)^{m-1}\,dx =$$

$$=2\theta\frac{(2m)!}{m!(m-1)!} B(m+2, m) =2\theta\frac{(2m)!}{m!(m-1)!}\frac{(m+1)!(m-1)!}{(2m+1)!} = \frac {2\theta(m+1)}{2m+1}.$$

Следовательно,

$$\mathbb E \Big(\frac 12(X_{(m)} + X_{(m+1)})\Big) = \frac 12\Big(\mathbb E X_{(m)} + \mathbb EX_{(m+1)}\Big) = \theta \Big(\frac m{2m+1} + \frac {m+1}{2m+1}\Big) = \theta.$$

Итак, выборочная медиана — несмещённая оценка как медианы, так и среднего распределения $U[0,2\theta]$.

В некоторых случаях оценка $\widehat\theta_n = \widehat\theta(X_1, \dots, X_n)$ смещена, но с ростом $n$ это смещение нивелируется. Если $\lim\limits_{n\to\infty} \mathbb E\widehat\theta_n = \theta$, то оценка $\widehat\theta_n$ называется асимптотически несмещённой.

Упражнение. Пусть $X_1, \ldots, X_n \sim U[0, \theta]$ — i.i.d. выборка. Оценим параметр $\theta$ как максимальное значение выборки:

$$\widehat \theta_n = X_{(n)} = \max\{X_1, \ldots, X_n\}.$$

Является ли эта оценка несмещённой? Асимптотически несмещённой?

Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)

В силу свойства i.i.d. для $0\leqslant x \leqslant \theta$ имеем

$$\mathbb P(X_{(n)}\leqslant x) = \mathbb P(X_1 \leqslant x, \ldots, X_n \leqslant x) = \prod\limits_{k=1}^n \mathbb P(X_1 \leqslant x) = \Big(\frac x\theta\Big)^n.$$

Следовательно, плотность случайной величины $\widehat \theta_n = X_{(n)}$ равна $n\frac {x^{n-1}}{\theta^n}$, и поэтому

$$\mathbb E \widehat \theta_n = \frac n{\theta^n} \int\limits_0^\theta x^n\,dx = \frac {n\theta}{n+1}.$$

Отсюда видно, что оценка смещённая. Однако $\lim\limits_{n\to\infty} \frac {n\theta}{n+1} = \theta$, так что оценка $\widehat \theta_n$ асимптотически несмещённая. Чтобы получить несмещённость в чистом виде, можно взять оценку $\tilde \theta_n = \frac{n+1}n X_{(n)}$.

Состоятельность

Оценка $\widehat\theta_n = \widehat\theta(X_1, \dots, X_n)$ называется состоятельной, если она сходится по вероятности к $\theta$, $\widehat\theta_n \stackrel{P}{\to} \theta$, то есть

$$\lim\limits_{n \to \infty} \mathbb{P}(|\widehat\theta_n - \theta| > \varepsilon) = 0 \text{ для любого } \varepsilon > 0.$$

Cостоятельность означает, что с ростом размера выборки всё менее вероятны хоть сколько нибудь значимые отклонения оценки от истинного значения параметра.

Если i.i.d. выборка $X_1, \ldots, X_n$ получена из распределения с конечным математическим ожиданием $\theta$, то в силу закона больших чисел выборочное среднее $\overline{X}_n$ является состоятельной оценкой для $\theta$.

Состоятельность оценки – независимое от несмещенности свойство: оценки могут быть состоятельными, но не несмещенными и наоборот. Например, оценка $\widehat \theta_n = X_{(n)}$ из предыдущего упражнения оказалась смещённой, однако, она состоятельна:

$$\mathbb P(\vert X_{(n)} - \theta\vert > \varepsilon) = \mathbb P(X_{(n)} < \theta + \varepsilon) =$$

$$= \Big(\frac{\theta - \varepsilon}{\theta}\Big)^n = \Big(1 - \frac \varepsilon\theta\Big)^n \to 0, n\to\infty.$$

Упражнение. Приведите пример несмещённой оценки, не являющейся состоятельной.

Имея i.i.d. выборку $X_1, \ldots, X_n$ из невырожденного распределения с конечным средним $\theta$, оценим это среднее как $\widehat \theta = X_1$. Эта оценка, очевидно, несмещённая: $\mathbb E \widehat \theta = \mathbb EX_1 = \theta$. Состоятельной, однако, она не является, ведь выражение

$$\mathbb P(\vert \widehat \theta - \theta\vert > \varepsilon) = \mathbb P(\vert X_1 - \theta\vert > \varepsilon)$$

никоим образом не зависит от $n$. Следовательно, состоятельность оценки $\widehat \theta$ означала бы, что $\mathbb P(\vert X_1 - \theta\vert > \varepsilon)=0$ для любого $\varepsilon >0$. Такое возможно только для вырожденного распределения, сосредоточенного в одной лишь точке $\theta$: $\mathbb P(X_1 = \theta) = 1$.

Bias-variance decomposition

Смещение (bias) оценки $\widehat{\theta}\equiv\widehat{\theta}_n = \widehat{\theta}(X_1,\ldots,X_n)$ определяется как

$$\mathrm{bias}(\widehat{\theta}) = \mathbb{E}\widehat{\theta} - \theta.$$

Смещение показывает, насколько оценка в среднем отклоняется от истинного значения. Оценка $\widehat{\theta}_n$

• несмещённая, если $\mathrm{bias}(\widehat{\theta}_n) = 0$;
• асимптотически несмещённая, если $\lim\limits_{n\to\infty}\mathrm{bias}(\widehat{\theta}_n) = 0$.

Среднеквадратичной ошибкой (mean squared error, MSE) оценки называется величина

$$\mathrm{MSE}(\widehat{\theta}) = \mathbb{E}(\widehat{\theta} - \theta)^2.$$

Смещение, дисперсия и среднеквадратичная ошибка связаны между собой следующим соотношением (bias-variance decomposition):

$$\mathrm{MSE}(\widehat{\theta}) = \text{bias}^2(\widehat{\theta}) + \mathbb{V}(\widehat{\theta}).$$

Доказательство

Имеем

$$\mathrm{MSE}(\widehat{\theta}) = \mathbb{E}(\widehat{\theta} - \theta)^2 = \mathbb{E}\big(\widehat{\theta} - \mathbb E\widehat\theta + \mathbb E\widehat\theta - \theta\big)^2=$$

$$=\mathbb{E}\big(\widehat{\theta} - \mathbb E\widehat\theta\big)^2 + 2\mathbb{E}(\widehat{\theta} - \mathbb E\widehat\theta)(\mathbb E\widehat\theta - \theta) + \mathbb{E}\big(\mathbb E\widehat\theta - \theta\big)^2 =$$

$$= \mathbb{V}(\widehat{\theta}) + 2\big(\mathbb{E}\widehat{\theta} - \mathbb E\widehat\theta\big)\big(\mathbb E\widehat\theta - \theta\big) + \mathrm{bias}^2(\widehat{\theta}).$$

Среднее слагаемое здесь равно нулю, откуда и вытекает доказываемое равенство.

Упражнение. Докажите, что оценка $\widehat{\theta}_n$ состоятельная, если она асимптотически несмещённая и $\lim\limits_{n\to\infty}\mathbb{V}(\widehat{\theta}_n) = 0$.

Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)

С помощью неравенства Маркова получаем, что

$$\mathbb{P}\big(\vert\widehat{\theta}_n - \theta\vert > \varepsilon\big)\leqslant \mathbb{P}\big((\widehat{\theta}_n - \theta)^2 \geqslant \varepsilon^2\big)\leqslant \frac{\mathbb{E}(\widehat{\theta}_n - \theta)^2}{\varepsilon^2} = \frac{\mathrm{MSE}(\widehat\theta_n)}{\varepsilon^2}.$$

По условию оба слагаемых в формуле bias-variance decomposition стремятся к нулю,

$$\mathrm{MSE}(\widehat\theta_n) = \mathrm{bias}^2(\widehat{\theta}_n) + \mathbb{V}(\widehat{\theta}_n) \to 0, \quad n\to \infty,$$

и поэтому $\lim\limits_{n\to\infty}\mathbb{P}\big(\vert\widehat{\theta}_n - \theta\vert > \varepsilon\big) = 0$ при любом фиксированном $\varepsilon > 0$.

Таким образом, если $\lim\limits_{n\to\infty}\mathrm{MSE}(\widehat{\theta}_n) = 0$, то оценка $\widehat{\theta}_n$ параметра $\theta$ асимптотически несмещённая и состоятельная.

Асимптотическая нормальность

Стандартным отклонением оценки $\widehat{\theta}_n$ параметра $\theta$ называется корень из дисперсии:

$$\mathrm{se}(\widehat{\theta}_n) = \sqrt{\mathbb V \widehat{\theta}_n}.$$

Оценка $\widehat{\theta}_n$ асимптотически нормальна, если $\frac{\widehat{\theta}_n - \theta}{\mathrm{se}(\widehat{\theta}_n)} \stackrel{D}{\to} \mathcal N(0,1)$, т.е.

$$\lim\limits_{n\to\infty}\mathbb P\Big(\frac{\widehat{\theta}_n - \theta}{\mathrm{se}(\widehat{\theta}_n)} \leqslant z\Big) = \mathbb \Phi(z).$$

Согласно центральной предельной теореме выборочное среднее i.i.d. выборки из распределения с конечными средним $\mu$ и дисперсией $\sigma^2$ является асимптотически нормальной оценкой параметра $\mu$.

Эффективность

Пусть $\widehat{\theta}$ и $\tilde{\theta}$ — несмещённые оценки параметра $\theta$. Оценка $\widehat{\theta}$ эффективнее оценки $\tilde{\theta}$, если $\mathbb V\widehat{\theta} < \mathbb V\tilde{\theta}$. Такое определение эффективности вполне логично, ведь чем меньше дисперсия несмещённой оценки, тем меньше у неё шансов удалиться куда-то далеко от истинного значения параметра.

Пример. Пусть $X_1, \ldots, X_n$ — i.i.d. выборка из распределения $U[0, 2\theta]$. Какая оценка параметра $\theta$ эффективнее: выборочное среднее или медиана?

Несмещённость оценок $\widehat{\theta} = \overline X _n$ и $\tilde{\theta} = \mathrm{med}(X_1, \ldots, X_n)$ уже была показана выше.

Найдём дисперсию наших оценок. Диспресия случайной величины $\xi \sim U[0, 2\theta]$ равна $\mathbb V \xi = \frac{\theta^2}{3}$, следовательно, $\mathbb V \widehat \theta = \frac{\theta^2}{3n}$.

Найти дисперсию медианы несколько сложнее. Ограничимся случаем $n = 2m+1$. Тогда $\tilde{\theta} = X_{(m+1)}$, и

$$\mathbb E\tilde{\theta}^2 = \mathbb E X_{(m+1)} = \frac 1{2\theta}\frac{(2m+1)!}{(m!)^2} \int\limits_0^{2\theta} x^2 \Big(\frac x{2\theta}\Big)^{m}\Big(1-\frac x{2\theta}\Big)^{m}\,dx.$$

С помощью замены $t = \frac x{2\theta}$ отсюда находим, что

$$\mathbb E\tilde{\theta}^2 = \frac{(2m+1)!}{(m!)^2}\int\limits_0^1 4\theta^2t^{m+2}(1-t)^m\,$$

$$dt =4\theta^2 \frac{(2m+1)!}{(m!)^2} B(m+3, m+1) =$$

$$=4\theta^2 \frac{(2m+1)!}{(m!)^2} \frac{(m+2)!m!}{(2m+3)!} = 2\theta^2 \frac{m+2}{2m+3} = \theta^2 + \frac{\theta^2}{n+3}.$$

Следовательно, $\mathbb V\tilde{\theta} = \frac{\theta^2}{n+3}$, что при $n>1$ больше, чем
$\mathbb V \widehat \theta = \frac{\theta^2}{3n}$, так что выборочное среднее эффективнее
медианы (примерно в $\sqrt 3$ раз при больших $n$, если считать по отношению стандартных отклонений).

Несмотря на то что в плане эффективности среднее оказалось предпочтительнее в этом примере,
в статистике медиану любят за бОльшую устойчивость к выбросам.

Ниже приведён scatter-plot, по которому можно наглядно оценить меру разброса среднего и медианы выборки из равномерного распределения на отрезке $[0, 2\theta]$ для $\theta = 5$. Для построения этого графика были взяты $200$ i.i.d. выборок из $U[0, 10]$ размера $n=10, 100, 1000, 10000$, и для каждого $n$ посчитаны выборочное среднее и медиана. Эти статистики и задают координаты точки на графике. Разумеется, чем больше значение $n$, тем кучнее локализованы точки вокруг среднего значения $\theta = 5$, совпадающего в данном случае с медианой. Как видно, облако точек сосредоточено вдоль прямой $y = \theta + \sqrt 3(x - \theta)$.

Выборочная дисперсия

Как мы уже убедились, выборочное среднее $\overline{X}_n = \frac{1}{n}\sum\limits_{k = 1}^n X_k$ представляет собой несмещённую и состоятельную оценку для математического ожидания. Можно ли то же самое сказать про выборочную дисперсию

$$\overline S_n = \frac{1}{n} \sum\limits_{k = 1}^n (X_k - \overline{X}_n)^2$$

в предположении, что i.i.d. выборка $X_1, \ldots, X_n$ состоит из реализаций случайной величины $\xi$ с конечными моментами $\mathbb E\xi = \theta_1$ и $\mathbb E\xi^2 = \theta_2$?

Прежде всего раскроем скобки и перепишем $\overline S_n$ в виде

$$\overline S_n = \frac{1}{n} \sum\limits_{k = 1}^n \big(X_k^2 - 2X_k \overline{X}_n + (\overline{X}_n)^2\big) =$$

$$= \frac{1}{n} \sum\limits_{k = 1}^n X_k^2 - 2 (\overline{X}_n)^2 + (\overline{X}_n)^2 = \overline{X^2}_n - (\overline{X}_n)^2,$$

где $\overline{X^2}_n = \frac 1n\sum\limits_{k = 1}^n X_k^2$ — выборочное среднее, построенное по выборке $X_1^2, \ldots, X_n^2$. Оно несмещённое, поэтому $\mathbb E \overline{X^2}_n = \theta_2$. Заметим также, что

$$(\overline{X}_n)^2 = \frac 1{n^2} \Big(\sum\limits_{k=1}^n X_k\Big)^2 = \frac 1{n^2} \sum\limits_{k=1}^n X_k^2 + \frac 2{n^2} \sum\limits_{1\leqslant i < j\leqslant n} X_iX_j,$$

откуда в силу независимости $X_i$ и $X_j$ при $i\ne j$ получаем

$$\mathbb E(\overline{X}_n)^2 = \frac 1n \mathbb E\overline{X^2}_n + \frac 2{n^2} \sum\limits_{1\leqslant i < j\leqslant n} \mathbb E X_i \mathbb E X_j= \frac{\theta_2}n + \frac{n-1}n\theta_1^2.$$

Итак,

$$\mathbb E\overline S_n = \theta_2- \frac {\theta_2}n - \frac{n-1}n\theta_1^2 = \frac{n-1}n \mathbb V\xi.$$

Таким образом, оценка дисперсии $\overline S_n$ смещённая (хотя и асимптотически несмещённая). По этой причине для оценки дисперсии часто используют аналогичную несмещённую оценку

$$\overline \sigma_n = \frac n{n-1}\overline S_n = \frac{1}{n-1} \sum\limits_{k = 1}^n (X_k - \overline{X}_n)^2,$$

которую также называют выборочной дисперсией.

Обоснуем теперь состоятельность оценки $\overline S_n = \overline{X^2}_n - (\overline{X}_n)^2$. Согласно закону больших чисел $\overline{X^2}_n \stackrel{P}{\to} \theta_2$,
$\overline{X}_n \stackrel{P}{\to} \theta_1$. Здесь нам потребуется пара свойств сходимости по вероятности.

Упражнение. Пусть $\xi_n \stackrel{P}{\to} \xi$, $\eta_n \stackrel{P}{\to} \eta$. Докажите, что $\xi_n + \eta_n\stackrel{P}{\to} \xi + \eta$.

Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)

Зафиксируем некоторое $\varepsilon > 0$. Поскольку $\vert \xi_n - \xi\vert + \vert \eta_n - \eta\vert \geqslant \vert \xi_n + \eta_n - \xi - \eta\vert$, то

$$\mathbb P\big(\vert \xi_n + \eta_n - \xi - \eta\vert > \varepsilon\big) \leqslant \mathbb P\big(\vert \xi_n - \xi\vert + \vert \eta_n - \eta\vert > \varepsilon\big).$$

Далее, если $\vert \xi_n - \xi\vert + \vert \eta_n - \eta\vert > \varepsilon$, то выполняется хотя бы одно из неравенств $\vert \xi_n - \xi\vert >\frac \varepsilon 2$ и $\vert \eta_n - \eta\vert >\frac \varepsilon 2$. Следовательно,

$$\mathbb P\big(\vert \xi_n + \eta_n - \xi - \eta\vert > \varepsilon\big) \leqslant \mathbb P\Big(\vert \xi_n - \xi\vert >\frac \varepsilon 2\Big) + \mathbb P\Big(\vert \eta_n - \eta\vert >\frac \varepsilon 2\Big).$$

Но последние две вероятности стремятся к нулю, так как $\xi_n \stackrel{P}{\to} \xi$ и $\eta_n \stackrel{P}{\to} \eta$. Следовательно, последовательность случайных величин $\xi_n + \eta_n$ сходится по вероятности к $\xi + \eta$.

Упражнение. Пусть $\xi_n \stackrel{P}{\to} \xi$. Докажите, что $\xi_n^2 \stackrel{P}{\to} \xi^2$.

Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)

Пусть $0 < \varepsilon < 1$ и $\delta > 0$. Выберем число $M>1$ так, что $\mathbb P(\vert\xi\vert > M) < \delta$. Если $\vert \xi_n - \xi\vert \leqslant \frac\varepsilon M$ и $\vert \xi \vert \leqslant M$, то

$$\vert \xi_n^2 - \xi^2\vert = \vert \xi_n - \xi\vert \cdot\vert \xi_n + \xi\vert = \vert \xi_n - \xi\vert \cdot\vert \xi_n - \xi + 2\xi\vert \leqslant$$

$$\leqslant\frac\varepsilon M(\vert \xi_n - \xi\vert + 2\vert \xi\vert) \leqslant \frac\varepsilon M(1+ 2M) < 3\varepsilon.$$

Следовательно,

$$\mathbb P\big(\vert \xi_n^2 - \xi^2\vert > 3\varepsilon\big) \leqslant \mathbb P \Big(\vert \xi_n - \xi\vert > \frac \varepsilon M\Big) + \mathbb P(\vert \xi\vert > M) < 2\delta.$$

Последнее неравенство выполняется для всех достаточно больших $n$, при которых первое слагаемое меньше $\delta$; этого же всегда можно достичь за счёт увеличения $n$, поскольку по условию $\xi_n \stackrel{P}{\to} \xi$. В силу произвольности $\delta$ отсюда заключаем, что

$$\lim\limits_{n\to\infty} \mathbb P\big(\vert \xi_n^2 - \xi^2\vert > 3\varepsilon\big) = 0,$$

то есть последовательность $\xi_n^2$ сходится по вероятности к случайной величине $\xi^2$.

Пользуясь результатами этих упражнений, заключаем, что
$\big(\overline{X}_n\big)^2 \stackrel{P}{\to} \theta_1^2$ и
$\overline{S}_n \stackrel{P}{\to} \theta_2 - \theta_1^2 = \mathbb V\xi$, и, стало быть, оценка $\overline S_n$ состоятельна.

Методы оценки параметров

До этого мы обсуждали разные приятные свойства оценок, а теперь рассмотрим некоторые методы, позволяющие систематически получать по выборке оценки параметров с нужными свойствами.

Метод моментов

Пусть выборка $X_1, \ldots, X_n$ получена сэмплированием из некоторого семейства распределений $F_{\boldsymbol \theta}(x)$ с параметрами $\boldsymbol \theta = (\theta_1, \ldots, \theta_m)$. Метод моментов для оценки этих параметров заключается в приравнивании выборочных моментов

$$\overline{X^k}_n = \frac 1n\sum\limits_{j=1}^n X_j^k$$

к теоретическим

$$\alpha_k(\boldsymbol \theta) = \int\limits_{-\infty}^{+\infty} x^k dF_{\boldsymbol \theta}(x).$$

Решая полученную систему уравнений $\alpha_k(\boldsymbol \theta) = \overline{X^k}_n$, $1\leqslant k \leqslant m$, находим оценки параметров $\widehat \theta_k$.

Пример. Оценим параметры нормального распределения $\mathcal{N}(\mu, \sigma^2)$ с помощью метода моментов.

Попробуйте сделать сами, прежде чем смотреть решение.

Теоретические моменты равны

$$\alpha_1 = \mu,\quad\alpha_2 = \sigma^2 + \mu^2.$$

Запишем систему:

$$\mu = \overline X_n,$$

$$\sigma^2 + \mu^2 = \overline {X^2}_n.$$

Из неё очевидным образом находим $\widehat \mu = \overline X_n$,

$$\widehat{\sigma^2} = \overline {X^2}_n - \big( \overline X_n\big)^2= \frac1n \sum\limits_{k=1}^n\big(X_k - \overline X_n \big)^2.$$

Как видно, оценки по методу моментов в данном случае совпадают с выборочными средним и дисперсией.

Упражнение. Оцените по методу моментов параметры $a$ и $b$ для выборки $X_1, \ldots, X_n$ из $U[a, b]$.

Ответ

Решая систему уравнений $\alpha_1 = \frac{a+b}2 = \overline X_n$, $\alpha_2 = \frac{a^2+ab + b^2}3 = \overline{X^2}_n$, находим

$$\widehat a = \overline X_n - \sqrt{3 (\overline {X^2}_n - \overline X_n^2)}, \quad \widehat b = \overline X_n + \sqrt{3 (\overline {X^2}_n - \overline X_n^2)}$$

Таким образом, согласно методу моментов оценки для границ отрезка отстоят от выборочного среднего на выборочное стандартное отклонение, помноженное на $\sqrt 3$.

При некоторых условиях на регулярность семейства распределений $F_{\boldsymbol \theta}(x)$ оценка по методу моментов получается состоятельной и асимптотически нормальной.

Метод максимального правдоподбия

Пусть, как обычно, выборка $X_1, \ldots, X_n \sim F_\theta(x)$.
Правдоподобие (функция правдоподобия, likelihood) выборки $X_1,\ldots, \ldots X_n$ — это просто её совместная pmf или pdf. Вне зависимости от типа распределения будем обозначать правдоподобие как

$$\mathcal L(\theta) \equiv L(X_1, \ldots, X_n \vert \theta) = p(X_1, \ldots, X_n \vert \theta).$$

Если выборка i.i.d., то функция правдоподобия распадается в произведение одномерных функций:

$$L(X_1, \ldots, X_n \vert \theta) = \prod\limits_{k=1}^n p(X_k\vert \theta).$$

Оценка максимального правдоподобия (maximum likelihood estimation, MLE) максимизирует правдоподобие:

$$\widehat \theta_{\mathrm{ML}} = \arg \max\limits_{\theta} \mathcal L(\theta)$$

Поскольку максимизировать сумму проще, чем произведение, обычно переходят к логарифму правдоподобия (log-likelihood). Это особенно удобно в случае i.i.d. выборки, тогда

$$\widehat \theta_{\mathrm{ML}} = \arg \max\limits_{\theta} \log \mathcal L(\theta) = \arg \max\limits_{\theta} \sum\limits_{k=1}^n \log p(X_k\vert \theta).$$

Пример. В результате $n$ подбрасываний монеты выпало $k$ «орлов» и $n-k$ «решек».
Оценим вероятность выпадения «орла» методом максимального правдоподобия.

Пусть $p$ — вероятность выпадения «орла», тогда правдоподобие равно

$$\mathcal L(p)=p^k (1-p)^{n-k}.$$

Дифференцируя логарифм правдоподобия

$$\log \mathcal L(p) = k\log p + (n-k)\log(1-p)$$

и приравнивая к нулю производную, находим

$$\frac kp = \frac{n-k}{1-p} \iff k(1-p) = (n-k)p \iff p = \frac kn.$$

Нетрудно убедиться, что это точка максимума. Итак, оценка максимального правдоподобия $\widehat p_{\mathrm{ML}} = \frac kn$ вероятности «успеха» в схеме Бернулли вполне ожидаемо оказалась равна доле «успехов» в серии из $n$ испытаний.

Упражнение. Пусть i.i.d. выборка $X_1, \ldots, X_n$ взята из пуассоновского распределения с параметром $\lambda$. Найдите его оценку максимального правдоподобия.

Ответ

$$\widehat \lambda_{ML} = \overline X_n = \frac 1n \sum\limits_{k=1}^n X_k.$$

Методом максимального правдоподобия можно оценить сразу несколько параметров.

Пример. Найдём MLE-оценки параметров распределения $\mathcal N(\mu, \tau)$ по i.i.d. выборке $X_1, \ldots, X_n$.

Запишем правдоподобие:

$$\mathcal L(\mu, \tau) = \prod\limits_{k = 1}^n \frac{1}{\sqrt{2\pi\tau}} \exp{\frac{-(X_k - \mu)^2}{2\tau}}.$$

Перейдём к log-likelihood:

$$\log \mathcal L(\mu, \tau) = -\frac{n}{2}(\log{\tau} + \ln{2\pi}) - \frac{1}{2\tau} \sum\limits_{k = 1}^n (X_k - \mu)^2.$$

Приравняем частные производные по $\mu$ и $\tau$ к нулю:

$$\frac{\partial \log \mathcal L}{\partial \mu} = \frac{1}{\tau}\sum\limits_{k = 1}^N (X_k - \mu) = 0,$$

$$\frac{\partial \log \mathcal L}{\partial \tau} = -\frac{n}{\tau} + \frac{1}{\tau^2}\sum\limits_{k = 1}^n (X_k - \mu)^2 = 0,$$

откуда $\widehat\mu_{\mathrm{ML}} = \overline{X}_n$ – выборочное среднее, $\widehat\tau_{\mathrm{ML}} = \frac{1}{n} \sum\limits_{k = 1}^n X_k^2 - (\overline{X}_n)^2$ – выборочная дисперсия.

Упражнение. Пусть i.i.d. выборка $X_1, \ldots, X_n \sim U[a, b]$. Найдите оценки максимального правдоподобия для параметров $a$ и $b$.

Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)

Оказывается, при поиске MLE не всегда надо дифференцировать. Правдоподобие здесь имеет вид

$$L(X_1, \ldots, X_n\vert a, b) = \frac 1{(b-a)^n}\prod\limits_{k=1}^n \mathbb I(X_k \in [a, b]).$$

При фиксированных иксах и $b$ это выражение максимально при $a = X_{(1)}$: ведь если взять чуть больше, то произведение индикаторов обнулится, если меньше — то правдоподобие уменьшится за счёт увеличения $(b-a)^n$. По аналогичным соображениям $\widehat b_{\mathrm{ML}} = X_{(n)}$.

Свойства оценки максимального правдоподобия

• состоятельность: $\widehat \theta_{\mathrm{ML}} \stackrel{P}{\to} \theta$;
• инвариантность относительно параметризации: если $\widehat \theta_{\mathrm{ML}}$ — MLE-оценка для $\theta$, то $\varphi\left( \hat{\theta}_{ML} \right)$ — MLE-оценка для $\varphi(\theta)$;
• асимптотическая нормальность: $\frac{\widehat \theta_{\mathrm{ML}} - \theta}{\widehat{\mathrm{se}}} \stackrel{D}{\to} \mathcal N(0,1)$;
• асимптотическая оптимальность: при достаточно больших $n$ оценка
  $\widehat \theta_{\mathrm{ML}}$ имеет минимальную дисперсию.